应用于物理工程系统的纯粹数据驱动的深神经网络（DNN）可以推断出违反物理定律的关系，从而导致意外后果。为了应对这一挑战，我们提出了一个基于物理模型的DNN框架，即Phy-Taylor，该框架以物理知识加速了学习合规的表示。 Phy-Taylor框架做出了两个关键的贡献。它引入了一个新的建筑物理兼容神经网络（PHN），并具有新颖的合规机制，我们称{\ em物理学引导的神经网络编辑\/}。 PHN的目的是直接捕获受物质量的启发的非线性，例如动能，势能，电力和空气动力阻力。为此，PHN增强了具有两个关键组成部分的神经网络层：（i）泰勒级数序列扩展的非线性功能捕获物理知识的扩展，以及（ii）缓解噪声影响的抑制器。神经网络编辑机制进一步修改了网络链接和激活功能与物理知识一致。作为扩展，我们还提出了一个自我校正的Phy-Taylor框架，该框架介绍了两个其他功能：（i）基于物理模型的安全关系学习，以及（ii）在违反安全性的情况下自动输出校正。通过实验，我们表明（通过直接表达难以学习的非线性并通过限制依赖性）Phy-Taylor的特征较少的参数和明显加速的训练过程，同时提供增强的模型稳健性和准确性。
translated by 谷歌翻译
节点分类是图神经网络中的重要任务，但是大多数现有研究都认为来自不同类别的样本是平衡的。但是，类不平衡问题是普遍的，可能会严重影响模型的性能。减少数据集对模型培训的不利影响对于改善模型的性能至关重要。因此，基于传统算法级别的方法来重建新的损失函数FD损失。首先，我们提出样品不种种量的距离，以根据分布过滤边缘样品和简单样品。然后，根据不抗测量距离定义了权重系数，并在损耗函数加权项中使用，以便损耗函数仅集中在有价值的样本上。与节点分类任务中的现有方法相比，几个基准的实验表明，我们的损耗函数可以有效地解决样品节点不平衡问题并将分类精度提高4％。
translated by 谷歌翻译
我们为随机梯度Langevin Dynamics（SGLD）建立了一个急剧的均匀误差估计，该算法是一种流行的采样算法。在温和的假设下，我们获得了一个均匀的$ o（\ eta^2）$，限制了SGLD迭代与langevin扩散之间的KL差异，其中$ \ eta $是步骤尺寸（或学习率）。我们的分析也适用于不同的步骤尺寸。基于此，我们能够以wasserstein或总变异距离来获得SGLD迭代和Langevin扩散不变分布之间的距离的$ O（\ eta）$。
translated by 谷歌翻译
在当前文献中，随机梯度下降（SGD）的扩散近似仅在有限的时间间隔内有效。在本文中，我们仅假设预期损失是强烈的凸和其他轻度条件，建立了SGD的均匀扩散近似值，而无需假设每个随机损耗函数的凸度。主要技术是建立向后kolmogorov方程的溶液衍生物的指数衰减速率。均匀的近似近似使我们能够通过连续的随机微分方程（SDE）研究SGD的渐近行为，即使随机目标函数$ f（\ cdot; \ xi）$不是强烈的凸。
translated by 谷歌翻译
有限的GPU记忆资源阻碍了深度神经网络的进一步发展。因此，高度要求GPU内存资源的优化。通常应用交换和重新计算，以更好地利用GPU记忆。但是，作为一个新兴领域，仍然存在一些挑战：1）静态和动态方法的重新计算效率受到限制。 2）交换需要手动卸载参数，这会产生巨大的时间成本。 3）没有这种动态和细粒的方法，涉及张量与当今的张量重新组件一起交换。为了纠正上述问题，我们提出了一个名为Delta（动态张量卸载和重新组件）的新型调度程序经理。据我们所知，我们是第一个在没有用户监督的情况下进行张量交换和张量重新组合的合理的动态运行时间调度程序。在Delta中，我们提出了一种过滤器算法，以选择要从GPU内存中释放出来的最佳张量，并提出导演算法，以选择每个张量的适当动作。此外，故意考虑预取和重叠以克服交换和重新计算张量引起的时间成本。实验结果表明，DELTA不仅节省了40％-70％的GPU记忆，从而超过了最新方法，而且还获得了可比的收敛结果，并获得了可接受的时间延迟。此外，与基准相比，当训练Resnet-101训练Resnet-101时，Delta在训练Resnet-50和2.25 $ \ times $时获得2.04 $ \ times $最大批量。此外，我们实验中的交换成本和重新计算成本之间的比较表明，在张量交换和张量重新计算上制定合理的动态调度程序的重要性，这在某些相关工作中反驳了交换应该是第一个也是最好的选择。
translated by 谷歌翻译
知识图表（KGS）是真实世界事实的结构化表示，是融合人类知识的智能数据库，可以帮助机器模仿人类问题的方法。然而，由于快速迭代的性质以及数据的不完整，KGs通常是巨大的，并且在公斤上有不可避免的事实。对于知识图链接的预测是针对基于现有的知识推理来完成缺少事实的任务。广泛研究了两个主要的研究流：一个学习可以捕获潜在模式的实体和关系的低维嵌入，以及通过采矿逻辑规则的良好解释性。不幸的是，以前的研究很少关注异质的KG。在本文中，我们提出了一种将基于嵌入的学习和逻辑规则挖掘结合的模型，以推断在KG上。具体地，我们研究了从节点程度的角度涉及各种类型的实体和关系的异构kg中的缺失链接的问题。在实验中，我们证明了我们的DegreEmbed模型优于对现实世界的数据集的国家的最先进的方法。同时，我们模型开采的规则具有高质量和可解释性。
translated by 谷歌翻译
几乎所有场景文本发现（检测和识别）方法依赖于昂贵的框注释（例如，文本线框，单词级框和字符级框）。我们首次证明培训场景文本发现模型可以通过每个实例的单点的极低成本注释来实现。我们提出了一种端到端的场景文本发现方法，将场景文本拍摄作为序列预测任务，如语言建模。给予图像作为输入，我们将所需的检测和识别结果作为一系列离散令牌制定，并使用自动回归变压器来预测序列。我们在几个水平，多面向和任意形状的场景文本基准上实现了有希望的结果。最重要的是，我们表明性能对点注释的位置不是很敏感，这意味着它可以比需要精确位置的边界盒更容易地注释并自动生成。我们认为，这种先锋尝试表明了场景文本的重要机会，比以前可能的比例更大的比例更大。
translated by 谷歌翻译
大型知识图（KGS）提供人类知识的结构化表示。然而，由于不可能包含所有知识，KGs通常不完整。基于现有事实的推理铺平了一种发现缺失事实的方法。在本文中，我们研究了了解完成缺失事实三胞胎的知识图表的推理的学习逻辑规则问题。学习逻辑规则将具有很强的解释性的模型以及概括到类似任务的能力。我们提出了一种称为MPLR的模型，可以改进现有模型以完全使用培训数据，并且考虑多目标方案。此外，考虑到缺乏评估模型表现和开采规则的质量，我们进一步提出了两名新颖的指标来帮助解决问题。实验结果证明我们的MPLR模型在五个基准数据集中优于最先进的方法。结果还证明了指标的有效性。
translated by 谷歌翻译
2021-10-28
变压器模型的成功将深度学习模型量表推向了数十亿个参数。但是，由于单个GPU的内存资源有限，因此仍然缺乏选择最佳并行策略的最佳实践，因为它需要深度学习和并行计算方面的域专业知识。巨大的AI系统通过引入统一的界面来解决上述挑战，以将模型培训的顺序代码扩展到分布式环境。它支持并行训练方法，例如数据，管道，张量和序列并行性，以及与零冗余优化器集成的异质训练方法。与基线系统相比，巨大的AI可以实现大型型号的训练速度的2.76倍。
translated by 谷歌翻译
在本文中，我们提出了端到端的结构化多峰关注（SMA）神经网络，主要解决了上述前两个问题。 SMA首先使用结构图表示来编码图像中出现的对象对象，对象文本和文本文本关系，然后设计多模式图注意网络以推理它。最后，由上述模块的输出由全局本地注意力应答模块处理，以通过跟随M4C迭代地生成从两个OCR和常规词汇拼接的答案。我们所提出的模型优于TextVQA数据集上的SOTA模型以及除基于预先训练的水龙头之外的所有模型中的所有模型中的ST-VQA数据集的两个任务。展示了强大的推理能力，它还在TextVQA挑战中获得了第一名的第一名。我们在几种推理模型中广泛测试了不同的OCR方法，并调查了逐步提高了OCR性能对TextVQA基准的影响。通过更好的OCR结果，不同的型号对VQA准确性的戏剧性提高，但我们的模型受益最强烈的文本视觉推理能力。要授予我们的方法，并为进一步作品提供公平的测试基础，我们还为TextVQA数据集提供人为的地面实际OCR注释，这些ocr注释未在原始版本中提供。 TextVQA数据集的代码和地面ocr注释在https://github.com/chenyugao-cs/sma提供
translated by 谷歌翻译